Ново проучване предупреждава за „колапс на модела“, тъй като AI инструментите се обучават върху генерирано от AI съдържание

Ново изследване предизвестява, че AI моделите могат да се срутен, защото стартират от ден на ден да разчитат на генерирано от AI наличие за образование.

Моделите с изкуствен интелект (AI) скоро може да се изправят пред нов проблем, защото наличието, генерирано от AI, от ден на ден изпълва интернет.

Големите езикови модели (LLM) като ChatGPT на OpenAI разчитат на данни налични онлайн, с цел да образоват и усъвършенстват своите модели.

Тъй като обаче тези модели изчерпват наличните онлайн данни или са изправени пред нараснали ограничавания за достъп до данни, те може да се образоват върху генерирано от AI наличие.

Това може да докара до утежняване на продуктивността на модела, което в последна сметка води до основаване на безсмислено наличие, феномен, именуван „ модел колапс “, съгласно ново изследване.

„ С течение на времето чакаме, че ще стане по-трудно да образоваме моделите, макар че е евентуално да имаме повече данни, просто тъй като е доста елементарно да се вземат проби от данните от моделите “, Илия Шумайлов, младши откривател помощник в Оксфордския университет и съавтор на проучването, сподели пред Euronews Next.

„ Но това, което ще се случи, е, че ще бъде по-трудно да се откри цялост от данни, които в действителност не са пристрастни “, добави той.

Проучването, оповестено в, разисква какво се случва, когато моделите се образоват на данни, генерирани от AI в продължение на голям брой цикъла.

Изследването откри, че след няколко цикъла на AI модели, генериращи и по-късно подготвени на генерирано от AI наличие, системите стартират да вършат обилни неточности и изпадане в нелепости.

Емили Венгер, откривател от университета Дюк, показва това посредством опит, при който AI модел непрестанно се образова върху наличие, генерирано от AI.

В опита на AI модел беше даден набор от данни, съдържащи фотоси на разнообразни породи кучета, със свръхпредставяне на голдън ретривъри.

Проучването откри, че резултатът от модела е по-вероятно да генерира изображения на златни ретривъри, в сравнение с други по-слабо показани породи кучета. Докато цикълът продължаваше, той последователно стартира да изоставя напълно други породи кучета, до момента в който най-после стартира да генерира нелепости.

Етапи на „ колапс на модела “

„ Колапсът на модела главно се дефинира от два стадия.. Първият стадий е това, което назоваваме колапс на модела в ранен стадий, и това, което се случва тук, е, че когато един модел се учи от различен модел, вие първо наблюдавате понижаване на дисперсията ", сподели Шумайлов.

На този стадий аспектите, които в началото не са изцяло разбрани от истинския модел, също ще бъдат едва разбрани от идващия модел, подготвен върху резултатите от предходния.

Това води до свръхсемплиране на добре разбраните аспекти, като в същото време се подценяват други значими просто тъй като не са били изцяло ясни за първичния модел.

След това идва колапсът на модела в късен стадий.

Това е моментът, когато AI моделите към този момент не са потребни заради по-ранните модели, въвеждащи свои лични неточности в данните.

Грешките, налични в първичните данни, се предават на идващия модел, който прибавя собствен личен набор от неточности и го предава също.

Тъй като данните непрестанно се създават и рециклират, моделите стартират да поясняват неправилно действителността и да вършат повече неточности.

„ Ако има някои неточности вътре в данните, които са генерирани от модел едно, те главно се популяризират в идващия модел. И в последна сметка това води до това, че моделът главно не възприема действителността “, изясни Шумайлов.

Видове неточности на AI модела

Според Шумайлов има три типа неточности, които моделите могат да създадат: неточности в архитектурата, неточности в процеса на образование и статистически неточности.

Архитектурни неточности пораждат, когато структурата на AI модела не е подобаваща за хващане на всички сложности в данните, с които се дава, което води до грешки, защото някои елементи са неразбрани или прекомерно опростени от модела.

Грешки в процеса на образование пораждат, когато методите, употребявани за образование на моделите, имат присъщи отклонения, което тласка модела да прави избрани типове неточности.

Накрая, статистическите неточности се появяват, когато няма задоволително данни, които да показват тъкмо това, което моделът се пробва да научи. Това може да накара модела да генерира прогнози въз основа на непълна информация, което води до неточност.

Последствия от „ колапс на модела “

Когато моделите се срутват, главната грижа е скоростта на усъвършенствания в осъществяването им може да се забави.

Моделите с изкуствен интелект разчитат в огромна степен на качеството на данните, на които са подготвени.

Когато обаче са подготвени на наличие, генерирано от изкуствен интелект, тези данни непрестанно вкарват неточности в система.

„ Вероятно ще би трябвало да поставим спомагателни старания за главно пречистване на данните. И това евентуално ще значи, че може да има закъснение на подобрението “, сподели Шумайлов.

Освен това, защото дисперсията понижава и данните стават по-малко разнородни, се чака незадоволително показаните данни да бъдат непропорционално наранени, което поражда опасения по отношение на включването на моделите на AI.

„ Трябва да бъдем извънредно деликатни като се уверим, че нашите модели са обективни и че те не губят визия за малцинствените данни вътре в тях “, сподели Шумайлов.